3-B09 聴覚障がい者向けの地声で対話するコミュニケーションツールの検討

https://scrapbox.io/files/6752bffcc5ca0a73e07fdf80.png

越後宏紀（ソフトバンク株式会社），金韓栄（ソフトバンク株式会社），神田悠杜（ソフトバンク株式会社），田中航太（ソフトバンク株式会社），出戸端賢人（ソフトバンク株式会社），山本弘稀（ソフトバンク株式会社）

既存の文字起こしツールや音声出力ツールにより現在では聴覚障がい者と健聴者が共にコミュニケーションを取りやすくなっている．しかしながら，現在はあくまで対話の中に翻訳ツールが仲介する構造になっており，聴覚障がい者と健聴者がシームレスに対話することは困難である．その問題を解決するために，我々は生成AIを活用し入力される手話をリアルタイム翻訳しユーザの地声で音声出力するコミュニケーションツールの開発を目指している．本稿では開発の初期段階として，指文字をテキストに変換し，そのテキストをユーザの地声で音声出力するコミュニケーションツールを提案した．指文字をカメラで認識しテキストとして読み取り，そのテキストは生成AIによって補完処理や文脈予測し対話の文を生成する．事前に1分弱の地声を登録しておくことで，テキストを地声で音声出力することを可能としている．今後は多言語手話への対応や，地声出力の効果を評価する実証実験を行う予定である．